REMORY: Learning Residual Memory for Context Compaction
REMORY：学习残差记忆实现上下文压缩
🧭 Agent 长程上下文压缩与记忆 ★ 深度解读
Shanghai Academy of AI for Science · Fudan University · Shanghai Jiao Tong University · University of Michigan · Alibaba Group
REMORY 在摘要后追加可学习软记忆 token，通过冻结 LLM 的续写分布逼近训练，以少量位置预算显著提升长程 agent 表现
📌 工作参考价值（4 点）
- 会话/上下文压缩：在电商导购、客服或搜索 Agent 的长对话中，用“文本摘要 + 可学习软 token 残差”替代纯摘要；摘要保持可读 checkpoint，软 token 补偿后续决策所需的隐式信息，避免丢失关键细节。
- 训练方式：不微调大模型，只训练轻量 memory encoder，通过冻结 LLM 的 teacher-student 分布匹配（reverse KL）接入；可在业务已有模型上低成本部署，在线只增加少量输入 token，无需改动 actor 权重。
- 两阶段课程：先重建阶段学习信息保持，再在固定摘要下学续写分布，直接优化“摘要遗漏但后续需要”的补偿；可迁移到生成式推荐中的用户历史压缩、query 会话 embedding 等场景。
- 工程配置：每 1024 positions 产生 64 soft tokens，层次压缩至最多 4096 slots，用约 5% 的位置预算接近全上下文效果；同时减少重复工具调用和工具错误，利于降低 API 成本、提升任务完成率。